对于学习图表表示，并非图中的所有详细结构都与给定的图形任务相关。与任务相关的结构可以是$本地化的$或$稀疏$，仅参与子图或以子图的交互作用（层次结构的角度）。图神经网络应该能够有效提取与任务相关的结构并与无关的部分不变，这对于通用消息传递GNN来说是具有挑战性的。在这项工作中，我们建议从原始图的一系列子图中学习图表表示，以更好地捕获与任务相关的子结构或分层结构，并跳过$ noisy $零件。为此，我们设计了软遮罩GNN层，以通过掩模机制提取所需的子图。软遮罩是在连续空间中定义的，以维持不同部分的重量并表征不同部分的权重。与现有的子图或分层表示方法和图形合并操作相比，软掩模GNN层不受固定样品或降低比率的限制，因此更灵活地提取具有任意尺寸的子图。公共图基准测试的广泛实验表明，软罩机制可以提高性能。它还提供了可解释性，使每个层中掩码的值可视化，使我们能够深入了解模型所学的结构。

知识蒸馏已成功地应用于各种任务。当前的蒸馏算法通常通过模仿教师的产出来改善学生的表现。本文表明，教师还可以通过指导学生的功能恢复来提高学生的代表权。从这个角度来看，我们提出了掩盖的生成蒸馏（MGD），这很简单：我们掩盖了学生功能的随机像素，并强迫它通过简单的块生成教师的完整功能。 MGD是一种真正的基于特征的蒸馏方法，可用于各种任务，包括图像分类，对象检测，语义分割和实例分割。我们在具有广泛数据集的不同模型上进行了实验，结果表明所有学生都取得了出色的改进。值得注意的是，我们将RESNET-18从69.90％提高到71.69％的Imagenet Top-1精度，带有Resnet-50骨架的视网膜从37.4到41.0界盒映射，基于Resnet-50的独奏从33.1到33.1至36.2 Mask Map和DeepLabV3， 18从73.20到76.02 miou。我们的代码可在https://github.com/yzd-v/mgd上找到。

从原始理论上明确定义的频谱图卷积到随后的空间扰动消息传递模型，空间局部（在顶点域中）充当大多数图形神经网络（GNN）的基本原理。在频谱图卷积中，过滤器由多项式近似，其中$ k $-oder多项式涵盖$ k $ -hop邻居。在消息传递中，聚合中使用的各种邻居定义实际上是对空间局部信息的广泛探索。对于学习节点表示，拓扑距离似乎是必要的，因为它表征了节点之间的基本关系。但是，对于学习整个图表的陈述，是必要的吗？在这项工作中，我们表明，不需要这样的原则，它会阻碍大多数现有的GNN，从有效地编码图形结构。通过删除它，以及多项式滤波器的限制，由此产生的新架构在学习图表表示上显着提高了性能。我们还研究了图谱对信号的影响，并将各种现有改进解释为不同的频谱平滑技术。它用作空间理解，以定量测量频谱对输入信号的影响，与众所周知的光谱理解为高/低通滤波器。更重要的是，它在开发强大的图形表示模型上阐明了光线。

We propose a methodology that systematically applies deep explanation algorithms on a dataset-wide basis, to compare different types of visual recognition backbones, such as convolutional networks (CNNs), global attention networks, and local attention networks. Examination of both qualitative visualizations and quantitative statistics across the dataset helps us to gain intuitions that are not just anecdotal, but are supported by the statistics computed on the entire dataset. Specifically, we propose two methods. The first one, sub-explanation counting, systematically searches for minimally-sufficient explanations of all images and count the amount of sub-explanations for each network. The second one, called cross-testing, computes salient regions using one network and then evaluates the performance by only showing these regions as an image to other networks. Through a combination of qualitative insights and quantitative statistics, we illustrate that 1) there are significant differences between the salient features of CNNs and attention models; 2) the occlusion-robustness in local attention models and global attention models may come from different decision-making mechanisms.

We present MEM: Multi-view Exploration Maximization for tackling complex visual control tasks. To the best of our knowledge, MEM is the first approach that combines multi-view representation learning and intrinsic reward-driven exploration in reinforcement learning (RL). More specifically, MEM first extracts the specific and shared information of multi-view observations to form high-quality features before performing RL on the learned features, enabling the agent to fully comprehend the environment and yield better actions. Furthermore, MEM transforms the multi-view features into intrinsic rewards based on entropy maximization to encourage exploration. As a result, MEM can significantly promote the sample-efficiency and generalization ability of the RL agent, facilitating solving real-world problems with high-dimensional observations and spare-reward space. We evaluate MEM on various tasks from DeepMind Control Suite and Procgen games. Extensive simulation results demonstrate that MEM can achieve superior performance and outperform the benchmarking schemes with simple architecture and higher efficiency.

探索对于具有高维观察和稀疏奖励的复杂环境中的深度强化学习至关重要。为了解决这个问题，最新的方法旨在利用内在的奖励来改善勘探，例如基于新颖的探索和基于预测的探索。但是，许多固有的奖励模块需要复杂的结构和表示学习，从而导致了过度的计算复杂性和不稳定的性能。在本文中，我们提出了一种有益的情节访问差异（REVD），这是一种计算有效且量化的探索方法。更具体地说，REVD通过评估情节之间的基于R \'Enyi Divergence的访问差异来提供内在的奖励。为了进行有效的差异估计，使用随机定义状态编码器使用K-Nearest邻居估计器。最后，在Pybullet机器人环境和Atari游戏上测试了REVD。广泛的实验表明，REVD可以显着提高强化学习算法的样本效率，并优于基准测定方法。

在这项工作中，我们提出了一种新的方法，用于利用极化线索来详细地重建透明对象。大多数现有方法通常缺乏足够的限制，并且遭受了过度平滑的问题。因此，我们将极化信息作为互补提示引入。我们将对象的几何形状隐式表示为神经网络，而极化渲染能够从给定的形状和照明配置中呈现对象的极化图像。由于透明对象的传输，将渲染的极化图像与现实世界捕获的图像进行直接比较将存在其他错误。为了解决这个问题，引入了代表反射部分比例的反射百分比的概念。反射百分比由射线示踪剂计算，然后用于加权极化损失。我们为多视图透明形状重建构建极化数据集以验证我们的方法。实验结果表明，我们的方法能够恢复详细的形状并提高透明物体的重建质量。我们的数据集和代码将在https://github.com/shaomq2187/transpir上公开获得。

考虑到过去几十年中开发的一长串异常检测算法，它们如何在（i）（i）不同级别的监督，（ii）不同类型的异常以及（iii）嘈杂和损坏的数据方面执行？在这项工作中，我们通过（据我们所知）在55个名为Adbench的55个基准数据集中使用30个算法来回答这些关键问题。我们的广泛实验（总共93,654）确定了对监督和异常类型的作用的有意义的见解，并解锁了研究人员在算法选择和设计中的未来方向。借助Adbench，研究人员可以轻松地对数据集（包括我们从自然语言和计算机视觉域的贡献）对现有基线的新提出的方法进行全面和公平的评估。为了促进可访问性和可重复性，我们完全开源的Adbench和相应的结果。

网络攻击是经验丰富的黑客违反目标信息系统的恶意尝试。通常，网络攻击的特征在于混合TTP（策略，技术和程序）和长期的对抗性行为，使传统的入侵检测方法无效。通过参考域知识（例如，威胁模型，威胁智能），基于手动设计的规则来实现大多数现有网络攻击检测系统。但是，这种过程缺乏智力和泛化能力。旨在基于出处数据提出一种基于出处数据的智能网络攻击检测方法。为了有效和高效地检测来自出现数据中的大量系统事件的网络攻击，我们首先通过异构图来模拟出现数据来捕获每个系统实体的丰富上下文信息（例如，过程，文件，套接字等。），并为每个系统实体学习语义矢量表示。然后，我们通过从异构图表中采样小型和紧凑的本地图来进行在线网络攻击检测，并将关键系统实体分类为恶意或良性。我们在两个物始数据集中进行了一系列实验，具有真正的网络攻击。实验结果表明，该方法优于其他基于学习的检测模型，对基于最先进的网络攻击检测系统具有竞争性能。

Dataset distillation has emerged as a prominent technique to improve data efficiency when training machine learning models. It encapsulates the knowledge from a large dataset into a smaller synthetic dataset. A model trained on this smaller distilled dataset can attain comparable performance to a model trained on the original training dataset. However, the existing dataset distillation techniques mainly aim at achieving the best trade-off between resource usage efficiency and model utility. The security risks stemming from them have not been explored. This study performs the first backdoor attack against the models trained on the data distilled by dataset distillation models in the image domain. Concretely, we inject triggers into the synthetic data during the distillation procedure rather than during the model training stage, where all previous attacks are performed. We propose two types of backdoor attacks, namely NAIVEATTACK and DOORPING. NAIVEATTACK simply adds triggers to the raw data at the initial distillation phase, while DOORPING iteratively updates the triggers during the entire distillation procedure. We conduct extensive evaluations on multiple datasets, architectures, and dataset distillation techniques. Empirical evaluation shows that NAIVEATTACK achieves decent attack success rate (ASR) scores in some cases, while DOORPING reaches higher ASR scores (close to 1.0) in all cases. Furthermore, we conduct a comprehensive ablation study to analyze the factors that may affect the attack performance. Finally, we evaluate multiple defense mechanisms against our backdoor attacks and show that our attacks can practically circumvent these defense mechanisms.